#representation geometry

3 篇

Do Audio Language Models Hear and Read Distinctive Features Alike?

音频语言模型听与读区分特征是否一致？

🧭 跨模态表征一致性分析 · 音频语言模型

Thayer School of Engineering, Dartmouth College

通过最小音素对差分方向，发现仅 Qwen2.5-Omni 的 voicing 跨模态对齐显著，且模型家族决定表征一致性

📌 工作参考价值（4 点）

评估多模态 LLM 的跨模态对齐时，不要只看余弦相似度的绝对值：任意音素对的基线一致性已经很高，必须构建随机配对参考做显著性检验，否则会高估对齐程度。
模型家族比模型规模更能影响表征对齐，选型多模态底座时应优先评测家族特性而非参数量。
最小对差分方向法可迁移到电商场景：如评测模型是否将“红色/蓝色”“棉/麻”等属性在文本与图像/语音中编码为同一方向，用于诊断多模态 embedding 的属性一致性。
注意不同模型 reference 差异可达 7 倍，对齐结论不能跨模型直接比较，需要各自标定基线。

Multimodal | 2026-09-24 | cs.LG | score 6/10

链式思维表象之下：LLM推理操作的机制性解释

🧭 推理操作表示几何与机制分析

KAIST · NAVER AI Lab

发现CoT中的问题表述、目标分解、演绎等操作在隐藏表示中可分离，中层最显著并依赖前文推理上下文

📌 工作参考价值（3 点）

在 Agent / 搜索推理链路中，可以对 LLM 隐藏状态使用轻量线性探针识别当前是「问题表述 / 目标分解 / 演绎」阶段；中层特征最有效，可用于推理步骤质量监控、异常检测或动态路由，无需完整解析文本。
如果做长 CoT 缓存 / 截断、KV cache 压缩，不能只保留最近片段或表层 token：前文推理上下文对后续 chunk 起始的 operation-aligned 表示很重要，否则会破坏阶段一致性。
相同表层 token 在不同推理操作中表示不同，说明下游使用 CoT 表示或 embedding 复用时，应按「推理操作上下文」而非字面 token 设计状态表示；这对多阶段推荐 Agent 的 context 工程有参考价值。

Reasoning | 2026-09-03 | HF Daily | score 6/10

语言模型如何组织与结构道德知识

🧭 LLM 表征几何与概念组织

用六个线性探针揭示 LLM 中道德基础方向既共享正向共同成分又张成近最大独立维度，且困境方向可部分由基础方向组合

📌 工作参考价值（4 点）

在电商意图/评论分析中，可为多个语义维度（如质量、价格、物流、品牌）分别训练线性探针，观察其方向是否既共享正向共同成分又保持独立维度，以判断模型是否具备结构化概念理解而非单点检测。
论文发现概念集成结构在预训练早期就形成，早于探针精度饱和；业务上可在资源有限时直接使用预训练中间层特征构建轻量概念分类器，不必等微调或精度完全收敛。
复杂场景（如“高性价比但售后差”的评论）可视为多个基础属性向量的组合，用其几何关系辅助可解释标签生成、冲突检测或 query 改写。
共享成分可作为多任务学习中的正则信号，避免不同概念任务向量过度隔离或完全坍缩，提升模型对相关语义维度的联合建模能力。

LLM | 2026-08-27 | cs.LG | score 6/10